Charles sinh ra trong một gia đình khá giả ở Versailles. Cha là một kiến trúc sư có tham gia xây dựng một thành phố mới của vua Pháp đương thời là Louis XIV.

Khi còn nhỏ, Charles nghiên cứu thần học, nhưng đương thời, người Công giáo Pháp đấu tranh với phong trào cải cách Jansenism, nên Tổng Giám mục Paris từ chối phong chức cho ông. Sau đó, ông chuyển sang học luật rồi sống ở Paris.[1]

Khoảng những năm đầu của thập kỉ 1760, ông kết bạn với một giáo sĩ là cha Vanin, qua đó ông biết hai cô gái sinh đôi đều bị điếc bẩm sinh, mà Vanin đã dạy kèm họ. Sau khi Vanin mất, ông đảm nhận dạy thay. Thời đó, người khiếm thính rất ít có được cơ hội học tập, bởi vì định kiến ​​hànng ngàn năm cho rằng người điếc là vô dụng (Aristotle, năm 355 TCN), thậm chí phải chịu nhiều sắc lệnh như cấm kết hôn, cấm sở hữu tài sản. Chỉ có trẻ em khiếm thính gia đình thượng lưu, giàu có mới được học đọc và viết.

Ông đã không theo định kiến đó, mà đã dạy cho cặp sinh đôi này sử dụng một dạng tín hiệu bằng tay thay cho âm của mỗi chữ cái và nhanh chóng đạt được thành công.